Khám Lớn Sài Gòn do nhà cầm quyền Pháp ở Sài Gòn cho khởi công xây dựng vào năm 1886, đến năm 1890 thì hoàn thành [1].

Công trình tọa lạc trên nền đất mà xưa kia là chợ Cây Da Còm. Theo Trương Vĩnh Ký, sở dĩ chợ có tên Cây Da Còm, vì nó nhóm dưới gốc một cây da nhánh còm, lá gie khòm xuống mặt đất. Xưa, nơi đây chuyên bán trống, bán lọng, yên ngựa, và mão tú tài.

Ban đầu, khám đường dài 30 m và rộng 15 m, ở giữa có lối đi rộng 2 m chạy dọc giữa hai dãy khám, mà mặt chính được rào bằng những song sắt. Tường khám sơn màu đen, phía trên cao có trổ cửa, cũng có lưới sắt.Thiết kế như vậy, cốt vừa để thông hơi, vừa để lính canh từ bên ngoài có thể quan sát bên trong phòng giam. Tuy nhiên, vì thiếu ánh sáng, vệ sinh kém, và vì số tù nhân ngày một tăng lên, nên trong phòng giam rất ngột ngạt, luôn phát sinh dịch bệnh.

Bên trong phòng giam, nền tô bằng xi măng, các tù nhân đều nằm trên sàn, một chân đút vào cái cùm dài suốt chiều dài xà lim.

Ở đây, còn có một xà lim (cellule) dành cho tù nhân lãnh án tử hình. Đó là một hầm 3 m x 5 m, ba mặt là tường kín và mặt còn lại là một cửa sắt có đục lỗ nhỏ.

Sau một thời gian, do số tù nhân quá đông[2], nhà cầm quyền Pháp phải xây thêm nhiều phòng mới, gồm hai dãy nhà một tầng và hai dãy nhà trệt, phân chia thành nhiều khu vực để giam cầm nhiều hạng tù khác nhau.

Một khám đường rộng lớn ở giữa lòng thành phố, nhà cầm quyền thừa hiểu đó là điều không hay; nhưng sau khi cân nhắc, họ vẫn quyết định cho khởi công, vì khám sẽ nằm gần Tòa án Sài Gòn (xây năm 1881-1885), rất thuận tiện cho việc quản lý và áp giải tù nhân.[3]

Tại Khám Lớn Sài Gòn, người Pháp có đặt một máy chém cao 4,5 mét, lưỡi dao nặng 50kg được đưa từ Pháp sang năm 1917. Vào khoảng năm 1925, mỗi lần thi hành án tử hình, người quản lý khám, cho đặt máy chém giữa đường, khoảng 5 giờ sáng, thì việc đã xong. Lập tức, họ cho xe vòi rồng đến xịt nước để tẩy rửa dấu vết.[3]

Ngày 23 tháng 11 năm 1940, cuộc khởi nghĩa Nam Kỳ bị thất bại, rất nhiều quân dân Việt kháng Pháp bị bắt giam. Do Khám Lớn Sài Gòn, bót Catina và các đồn khác không đủ chỗ giam giữ; và cũng vì khám nằm ở trung tâm thành phố, nơi các cuộc đấu tranh chống Pháp diễn ra thường xuyên; cho nên 16 tháng 12 năm 1941, Thống đốc Nam Kỳ đã phê duyệt kế hoạch xây Khám Chí Hòa tại ấp Chí Hòa (nay ở tại số 1 đường Hòa Hưng, Quận 10, Thành phố Hồ Chí Minh), nhưng đến 1943 mới khởi công. Rồi vì Nhật đảo chính Pháp, việc xây cất bị gián đoạn một thời gian, đến ngày 8 tháng 3 năm 1953[4], công trình mới hoàn thành.

Thủ tướng Quốc gia Việt Nam lúc bấy giờ là Nguyễn Văn Tâm (cầm quyền từ 23 tháng 6 năm 1952 đến 7 tháng 12 năm 1953), liền cho phóng thích một số tù nhân ở Khám Lớn Sài Gòn, số còn lại khoảng 1.600 người cùng với chiếc máy chém, được chuyển về khám đường mới, tức Khám Chí Hòa.

Kể từ khi ấy, Khám Lớn Sài Gòn chỉ còn là nơi giam giữ phụ và sau đó đã bị chính quyền Việt Nam Cộng Hòa cho phá hủy, để xây lên đó Trường Đại học Văn Khoa (thành lập năm 1957, trực thuộc Viện Đại học Sài Gòn), rồi Thư viện Quốc gia, và nay là Thư viện Khoa học Tổng hợp Thành phố Hồ Chí Minh[3].